写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%
写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。
来自主题: AI技术研报
5560 点击 2026-11-19 14:50
搜索
Qwen3.8-Flash-Next 有 48 层。处理一段输入时,SEED 让除最后一个以外的 token 只运行前 31 层,再由轻量的记忆写入组件,为后续 17 层生成 KV Cache 和循环状态。到了生成阶段,每个 token 仍然运行完整的 48 层。